Nguyên danh của ông là Hoàng Văn Khải, tự Đông Minh, hiệu Thái Xuyên, quê ở làng Đông Thái (nay thuộc xã Tùng Ảnh), huyện La Sơn (nay là huyện Đức Thọ), tỉnh Hà Tĩnh. Đỗ cử nhân ân khoa 1868 lúc 19 tuổi (cùng khóa thi với anh ông Phan Đình Phùng tên là Phan Đình Thuật, Phan Đình Phùng năm 1876 mới đậu ở Trường Thi, Nghệ An) năm Tự Đức thứ 21 (1868), cùng được bổ làm huấn đạo huyện Thọ Xương, sau làm giáo thụ ở phủ Hoài Đức (Hà Tây). Trước khi Pháp chiếm Bắc Kỳ, ông lần lượt giữ các chức vụ Tri huyện Thọ Xương rồi thăng quyền Án sát Lạng Sơn, quyền Tuần phủ Hưng Yên.

Năm 1884, Pháp chiếm Bắc Kỳ, trong khi các phong trào chống Pháp nổi dậy thì ông lại hợp tác với Pháp để đàn áp các phong trào nghĩa quân chống Pháp. Tháng 1 năm 1887, quyền Tuần phủ Hưng Yên, Hoàng Cao Khải được vua Đồng Khánh cho thực thụ Tuần phủ, gia hàm Thự lý Tổng đốc, nhưng vẫn lãnh Tuần phủ kiêm Tiễu phủ sứ ba tỉnh Hải Dương, Bắc Ninh, Hưng Yên, đặc biệt tham gia đàn áp khốc liệt cuộc khởi nghĩa Bãi Sậy.

Năm 1888, ông được thăng làm Tổng đốc Hải Dương, rồi làm Khâm sai Kinh lược Bắc Kỳ, tước Duyên Mậu quận công (1890), đây là biệt lệ vì quan lại triều Nguyễn chỉ được phong quận công khi đã mất, ban cho thực ấp Thái Hà. Năm 1894, theo lệnh của toàn quyền De Lanessan, ông viết thư dụ hàng Phan Đình Phùng, nhưng bị cự tuyệt.

Sách Việt Nam sử lược ghi rằng:

Lúc ấy quan quyền kinh lược sứ là ông Nguyễn Trọng Hợp cử quan quyền Tổng đốc Hải Dương là Hoàng Cao Khải làm chức Tiểu phủ sứ đi đánh dẹp ở vùng Bãi Sậy.Hoàng Cao Khải đem quân đi đánh riết mấy mặt. Bọn Phong trào Văn Thân người thì tử trận, người thì bị bắt. Nguyễn Thiện Thuật chạy sang Tàu, sau mất ở Nam Ninh, thuộc Quảng Tây. Đốc Tít ra hàng, phải đày sang ở thành Alger, bên Algérie. Đề Kiều và Lương Tam Kỳ ra thú được ở yên. Cai Kinh bị bắt, Đốc Ngữ ra thú, Hoàng Hoa Thám ở Yên Thế đến năm 1912 mới bị giết.

Năm 1897, Nha Kinh lược Bắc Kỳ bị bãi bỏ, Hoàng Cao Khải được điều về Huế lãnh chức Thượng thư Bộ Binh và làm phụ chính đại thần cho vua Thành Thái, hàm Thái tử Thái phó, Văn minh điện Đại học sĩ. Như vậy, Hoàng Cao Khải là viên Kinh lược sứ Bắc Kỳ cuối cùng của triều Nguyễn.

Năm 1904 khi tỉnh Cầu Đơ được đổi tên là Hà Đông, ông làm Tổng đốc tỉnh Hà Đông, giúp Thống sứ Bắc Kỳ soạn Nghị định về tổ chức bộ máy quản lý cấp xã ở Bắc Kỳ. Về sau con trai ông là Hoàng Trọng Phu kế nhiệm ông làm Tổng đốc Hà Đông đến năm 1937.

Ông về hưu tại Ấp Thái Hà, huyện Hoàn Long, tỉnh Hà Đông nay thuộc phường Trung Liệt, quận Đống Đa, Thành phố Hà Nội và mất tại đây.

Ngày 6 tháng 5 năm 1922, Hội Thanh niên An Nam (Foyers de la Jeunesse Annamite) được thành lập, Hoàng Cao Khải cùng Thống sứ Bắc Kỳ Monguillot làm đồng Chủ tịch Hội, Chánh mật thám Pháp Marty làm Chủ tịch danh dự.